Linear Classifier

가장 간단한 classifier로, perceptron의 원리를 차용한 가장 기초적인 Linear Transformation을 이용한 분류기이다.

weights parameter $W$ 와 bias $b$ 를 가진다.

f (x, W) = W x + b

$x$ 는 데이터이며, 데이터를 선형 변환하는 것과 동일하다.

$x \in R^{n}$ : 입력 데이터. 보통은 multivariate하므로 벡터이다.
$W \in R^{n \times m}$ : $m$ 차원으로 선형변환.
$b \in R$ : 하나의 값. 하지만 벡터에 대해서 broadcasting되어 더해진다.
- 가중치만을 이용한 선형 변환을 하면, 원점에서 이동하지 못한다. 이는 데이터셋의 불균형이나, 원하는 방향으로 이동을 위해 linearity를 유지하며 평행이동을 가능하게 한다.

그리고, $m$ 개의 score를 만드는 함수라고 할수도 있다. 이 score를 가장 높은 걸 택한다던지 하여 classifier로 이용할 수 는 있으나, 성능이 굉장히 많이 떨어지고 nonlinear한 문제를 해결하지 못한다.

이를 해결하기 위해 이용되는 방법이 Activation Function과 ANN이다.

As a Geometric Viewpoint

가장 유용한 시야 중 하나로, 어떤 한 class에 대해서 이 linear classifier가 만드는 decision boundary는 명확하게 보여진다. 물론, 세상의 데이터는 고차원이기 때문에 hyperplane이겠지만, 간단한 예시로 2차원에서 생각해 볼 수 있다.

위 사진의 예시를 생각해보면, 각 선은 각 class에 대해서, score가 0.5인 hyperplane위의 선을 표시해놓은 것이다. 즉, 일종의 decision boundary가 생성된다.

Problem

당연히 문제는, 비선형적인 문제를 해결하지 못한 것이다. 대표적인 예시가 XOR이다.